From Language to Behavior: Scaling Sequence Transformers for Industrial Recommendation Ranking with Rec-Native Designs
从语言到行为：面向工业推荐排序的推荐原生序列 Transformer 扩展框架 ReST
🧭 序列 Transformer 推荐排序 ★ 深度解读
ByteDance
提出 ReST，用双门控注意力、RoPE+RoTE、SRN 与共享前缀编解码，把行为序列 Transformer 扩展到生产排序并获在线收益。
📌 工作参考价值（4 点）
- 训练期加 auxiliary sequence CVR head 是低成本缓解 sequence starvation 的实用 trick：只用序列表征 + 广告/商品特征做 BCE，λseq=0.1 即可让序列 encoder 梯度 norm 提升 3 倍以上，离线 AUC 在多个 backbone 上稳定 +0.07~0.22 pct；在 hybrid DLRM 排序里能直接复用。
- 时间注入别只当 side feature：RoTE 用 rotary 方式按 head 分配秒/分/时/天/周/季/年多粒度物理时间，兼容 FlashAttention；比仅加 delta-time 特征多带来约 +0.04~0.12 pct AUC，适合有强时间敏感性的电商/广告行为序列。
- 双门控注意力只需 value gate + output gate 且用 sigmoid，就能以约 7.5% FLOPs 换 +0.06% AUC；QKV 全门控更贵但收益不增。噪声大的点击/浏览序列建模可以优先试 O+V gate。
- 架构上把能力分配给候选侧轻量 decoder 而不是继续堆 sequence encoder：projection-free KV 复用 encoder memory、token-specific parameterization 保持容量；encoder 加 MoE 多 500% 参数却 0 收益。训练用 user-level shared-prefix 提 5.8x 吞吐，serving 共享 prefix 最多降 20x 序列计算，适合候选量大、user history 长的排序场景。